NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs
NeuPAT：面向语言保持多模态大模型的神经元可塑性分配调优
🧭 多模态大模型 · 神经元可塑性约束
Fudan University · Zhongguancun Academy · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Tianjin University
用神经元级更新约束保护语言敏感神经元，在多模态微调中恢复94.5%语言能力下降且保持多模态性能
📌 工作参考价值（4 点）
- 在微调多模态推荐/搜索模型时，可用小规模 probe 任务识别对文本理解敏感的神经元/参数，对其实施低学习率或正则，防止原 LLM 的文本召回/相关性下降。
- NeuPAT 的 neuron-wise 约束是轻量、架构无关的，可叠加在 LoRA/Adapter 等参数高效微调方案上，适合线上迭代：只增加少量探测成本，避免多模态训练后语义排序能力退化。
- 类似思想可用于多任务训练（如商品文本描述生成 + 图像理解）：区分不同任务敏感神经元群体，动态分配更新幅度，缓解跨任务遗忘。
- 若业务以纯文本 LLM 为底座接入多模态商品数据，建议在指令微调阶段加入语言能力回归目标或约束，保持语言泛化能力，防止线上 query 理解/改写质量下降。